How to Allocate Your Tokens? Scaling Laws with Training Steps and Batch Size
如何分配你的 Tokens？带训练步数与批量大小的缩放律
🧭 训练缩放律 · 显式分离步数与批量大小
Inria, École Normale Supérieure, PSL Research University, Paris
提出三项式缩放律，显式分离训练步数和批量大小，用更少实验恢复最优批量并推导次优批量缩放律
📌 工作参考价值（4 点）
- 在推荐/搜索大模型训练中，可利用三项式缩放律预测最优批量大小，减少超参搜索成本，直接根据总 token 预算分配模型大小、步数和批量。
- 当训练数据（如用户行为序列）总量固定时，通过权衡训练步数和批量大小，可在有限资源下达到更优损失，例如在生成式推荐模型微调时，若数据稀缺，可减小批量以增加步数来提升效果。
- 该缩放律允许利用次优批量下的实验点进行拟合，工程上只需少量试跑即可估算资源最优配置，适合多业务线（广告、搜索、推荐）快速探索。
- 推导的次优批量缩放关系可用于设计动态批量策略，例如在训练前期用小批量快速收敛，后期加大批量稳定训练，提升整体效率。